概述與架構演進地圖
我們從AlexNet的基礎性成功，轉向極深層次的卷積神經網絡（CNN）。這種轉變要求在維持訓練穩定性的同時，對極致深度進行有效處理，因而催生了深刻的架構創新。我們將分析三種具有里程碑意義的架構——VGG、GoogLeNet（Inception）以及ResNet——理解每種架構如何解決擴展問題的不同面向，為本課後半部分的嚴謹模型可解釋性奠定基礎。
1. 結構簡潔性：VGG
VGG引入了以極度一致且小尺寸的卷積核（僅使用3x3卷積濾波器堆疊）來最大化深度。雖然計算成本高昂，但其結構的一致性證明，通過極少的架構差異實現的純粹深度，是性能提升的主要驅動因素，進一步確立了小感受野的重要性。
2. 計算效率：GoogLeNet（Inception）
GoogLeNet透過優先考慮效率與多尺度特徵提取，回應了VGG的高計算成本。其核心創新在於Inception模塊，它會執行並行卷積（1x1、3x3、5x5）和池化操作。關鍵在於，它利用1x1卷積作為瓶頸，在高成本運算之前大幅減少參數數量與計算複雜度。
關鍵工程挑戰
殘差學習：ResNet
ResNet透過引入身份映射（跳過連接）解決了性能退化問題。這種非順序捷徑使網路能夠學習殘差函數 $F(x)$，而非直接映射 $H(x)$，從而確保增加更多層級只會改善或維持性能，顯著提升了優化穩定性。
問題 1
哪種架構強調使用主要為3x3濾波器的結構一致性，以最大化深度？
問題 2
1x1卷積在Inception模塊中主要用於什麼基本目的？
關鍵挑戰：梯度消失
優化中的工程解法
請說明ResNet的身份映射如何根本性地解決梯度消失問題，而不僅僅是改進權重初始化或批量歸一化等技術。
問題 1
描述跳過連接如何在反向傳播期間穩定梯度流動的機制。
解答：
跳過連接在輸出中引入了一個身份項（$+x$），在導數路徑中產生一個加法項（$\frac{\partial Loss}{\partial H} = \frac{\partial Loss}{\partial F} + 1$）。此項確保梯度信號能有一條直接的反向流動路徑，保證上游權重始終獲得非零且可用的梯度信號，無論殘差函數 $F(x)$ 的梯度多麼微小。
跳過連接在輸出中引入了一個身份項（$+x$），在導數路徑中產生一個加法項（$\frac{\partial Loss}{\partial H} = \frac{\partial Loss}{\partial F} + 1$）。此項確保梯度信號能有一條直接的反向流動路徑，保證上游權重始終獲得非零且可用的梯度信號，無論殘差函數 $F(x)$ 的梯度多麼微小。